# -*- coding: utf-8 -*-
# time: 2025/4/8 16:38
# file: ch02_load_data.py
# author: hanson
"""
pip install addict modelscope

load_dataset 是 Hugging Face datasets 库中的一个核心函数，用于从 Hugging Face Hub 或本地路径加载各种数据集
from datasets import load_dataset
dataset = load_dataset("dataset_name", "configuration", split="split_name")
name（数据集名称）
用于指定数据集的名称，例如 "imdb"、"squad"、"librispeech_asr" 等。
数据集名称是 Hugging Face 数据集库中的唯一标识。


类似 load_dataset modelscope 加载数据集

#数据集下载
from modelscope.msdatasets import MsDataset
ds =  MsDataset.load('josonfan/jinyong', subset_name='default', split='train')
"""
#数据集下载
from modelscope.msdatasets import MsDataset
ds = MsDataset.load('josonfan/jinyong', subset_name='default', split='train')
#您可按需配置 subset_name、split，参照“快速使用”示例代码